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A device proposed for the capturing of the image 
of the outside world on the retina of the human 
eye using a scanning capturing device, whereby 
beams from the outside world are transmitted via 
the lenses of eye glasses, whose inner sides are 
shaped as convex image-forming beam-splitting 
mirrors and in which a biaxial scanner device is 
provided for the capturing of the re-dispersed 
beam of light from each point on the retina and 
the outgoing parallel beam of light from the eye, 
together with its image and deflection, transfering 
the luminous beam to an optoelectronic detector 
for serial capturing of the retinal reflex images. 
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@ Vorrichtung zur Aufnahme des Netzhautreflexbildes und Oberlagerung von Zusatzbildern im Auge 
© Es wlrd sine Vorrichtung zur Aufnahme des auf der $S 

menschlichen Netzhaut des Auges abgefaildeten Bildes der \ A a AAA AAA A / 

AuEenwelt mit Hilfe einer scannenden Aufnahmevorrichtung v v vv v v^- v v v , 

vorgesohlagen, bei der die Strahlen der AuBenwelt durch die 

Qlaser einer Srilie transmittiert warden, die auf ihren 

Innenseiten afs gewdlbte abbiidende Strahlteilerspiegel ge- 

staitet sind und bei der zur Aufnahme des von jedem Punkt 

der Netzhaut zuruckgestreuten und aus dem Auge austre- 

tenden paralleien StrahlenbOnde! und zu ihrer Abbildung 

und Umlenkung eine zweiachsige Scanvorrlchtung vorgese- 

hen ist, die das UohtbDndel zu einem opto-elektronischen 

Detektor zur seriellan Aufnahme des Natzhautreflaxas wai- 
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Beschreibung bilindustrie zur Einblendung von Instruinentenanzeigen 
in die Windschutzscheibe eingesetzt, damit der Fahrer 

Die Erfmdungbetrifft eine Vorrichtung, die esermdg- von der Beobachtung der vor ihm liegenden StraBe 

licht, das auf der Netzhaut des menschlichen Auges pro- nicht abgelenkt wird. 

jizierte Bild der AuBenwelt in Riickstreuung aufzuneh- s Eine bekannte Weiterentwicklung dieser Technik ist 

men, dieses mit elektronischer Bildverarbeitung zu mo- die sogenannte "virtual realitv", oder "cyberspace". Hier 

difizieren, bzw. rait zusatziichen Informationen zu er- werden in einer geschlossenen Brille, d. h. einer Brille in 

ganzen, und mit Hilfe einer Laserstrahlmodulation und der die Sicht nach auBen versperrt ist, mit dem HUD 

-ablenkung zuruck ins Auge mit dem Originalbild zu bewegte raumliche Vollbilder realitatsnah in das Auge 

uberlagern. " 10 projiziert und interaktiv mit den Korperbewegungen 

Mit dem zunehmenden Bedarf an Informationen und wie etwa der Fortbewegung, Armbewegung, Fingerbe- 

ihrer ubersichtlichen bildhaften Visualisierung wachsen wegung, Kopf- und Augenbewegung verandert 

die teohnischen Anforderungen an die Aufnahme, Ver- In dem HUD wird das Bild auf einem Bildschirm ge- 

arbeitung und Wiedergabe von Bildern. Der rasche neriert und nach Reflektion an der Brillenoberflache in 

Fortschritt auf diesen Gebieten geht Hand in Hand mit 15 das Auge eingeblendet Das Auge sieht sozusagen liber 

der immer schneller werdenden Bildverarbeitung durch die Brille als Vollspiegel auf das Display "um die Ecke 

Computer. herum" und bei der offenen Brille mit einem teildurch- 

Das Hauptanwendungsgebiet der elektronischen lassigen Spiegel gleichzeitig die AuBenwelt Da das Dis- 

Bildverarbeitung ist heute die Weiterverarbeitung von play mit dem Kopf verbunden ist, folgt das Bild den 

Bildern, die von {Cameras, Abtastsystemen und Senso- 20 Kopfbewegungen. 

ren, sowohl im sichtbaren Lichtbereich, als auch in ande- Einige HUDs sind mit einem "eye tracker" ausgerfi- 

ren Bereichen des elektromagnetischen Spektrums, wie stet, der die Augenbewegungen mit Hilfe eines Bewe- 

z.B. im Intrarot-, Radio- und Rontgenbereich, aufge- gungssensor am Augapfel oder einer Kamera die Bewe- 

nommen werden. Nach der elektronischen Bearbeitung gungen der Augenpupillen oder der GefaBstruktur der 

werden die Bilder als Einzelbilder, bzw. als bewegte 25 Netzhaut verfolgt Das im HUD projizierte Bild kann 

Bilder auf einer Bilddarstellungsflache (Display) zur In- dann entsprechend den Bewegungen innerhalb des Ge- 

formationsauf nahme des Auges wiedergegeben. sichtsf eldes elektronisch verschoben werden. 

Mit Hilfe der elektronischen Bildverarbeitung ist es Zur akkommodationsfreien Entspannung des Auges 

einerseits mogiich, besondere Bildinhalte leichter er- kann das Bild des HUDs uber die Projektionsoptik ins 

kennbarzumachen.Hierfureingefuhrte Techniken, sind 30 "Unendliche" versetzt werden. Mit der Einstellung un- 

z. B. Ortsfrequenzfilterung, Kantenverscharfung, Bild- terschiedlicher Blickwinkel der beiden Augen zum glei- 

datenkompression, Bildkorrelation, Dynamikreduzie- chen Gegenstand, wird ein stereoskopisches, d. h. raum- 

rung und Falschfarbenkodierung. Andererseits befassen liches Sehen ermoglicht 

sichweitere Techniken mit der Uberlagerung oder Sub- Diese Anwendungen und Techniken verdeutiichen 

traktion von Zusatzbildern aus verschiedenen Spektral- 35 zum einen den hohen Stand der elektronischen Bildver- 

bereichen, oder der Uberlagerung von gespeicherten arbeitung, die mit vertretbarem technischen Aufwand 

Planen, Landkarten, und Zeichnungen in das Original- bereits in der Lage ist, bewegte Bilder mit akzeptabler 

bild. Qualitat fast verzogerungsfrei zu verarbeiten, zum an- 

Ftir viele Anwendungen, ist eine praktisch verzoge- deren den zunehmenden Bedarf an direkter Bildiiber- 

rungsfreie Bilddarstellung fUr das Auge von groBem 40 tragung ins Auge. 

Vorteil, wie z. B. beim Fuhren eines Flugzeuges, eines Der heutigen Technik der HUDs sind jedoch Gren- 

Schiffes, eines Fahrzeuges oder bei der Steuerung und zen gesetzt Die Genauigkeit der automatischen Verfol- 

Oberwachung von Prozessen und FertigungsstraBen. gung der Augenbewegungen mit dem "eye tracker" ist 

Mit der Bildverarbeitung kann eine gezielte Erhohung wesentlich schlechter als die Ausrichtegenauigkeit und 

bzw. Reduktion des Informationsgehaltes des aktuellen 45 die BildauflSsung des Auges. Als Folge schwebt oder 

direkten Bildes durchgefiihrt werden. Die Anwendun- tanzt das eingeblendete Bild in dem Gesichtsfeld herum, 

gen reichen von ErhOhung des Bildkontrastes bis zur was zu einer ungenauen Zielf indung und Ermudung des 

Einblendung von Zusatzinformationen und Kennzeich- Auges fiihrt. 

nung von Details und Gef ahren. Aus diesem Grunde beschrankten sich die bisherigen 

In den meisten dieser Anwendungen ist es nachteilig, 50 Anwendungen der Vollbilddarstellung auf die geschlos- 

daB die elektronische Kamera ein von dem Auge des sene Brille, d. h. die ausschlieBliche Einblendung von 

Menschen getrenntes "zweites Augensystem" darstellt, Fremdbildern. Die Anwendungen der offenen Brille mit 

denn zum einen werden die Bilder von einem anderen der zusatziichen Sicht nach auBen sind dagegen noch 

Aufnahmeort aus gesehen und zum anderen werden auf auf die Einblendung einfacher Zusatzinformationen in 

dem Bildschirm an einem anderen Betrachtungsort als 55 Form von Texten, Symbolen oder Bildumrissen be- 

den des Auges dargestellt Das menschliche Auge muB schrankt 

somit zwischen der direkten und der indirekten Beob- Eine vollstandige raumliche und zeitliche Oberlap- 

achtung, mit unterschiedlichen Betrachtungswinkeln, pung von eingeblendeten Bildern auf das von dem Auge 

Bildausschnitten und GroBenverhaltnissen standig wahrgenommene reale Bild setzt die exakte raumliche 

wechseln, was zu korperlichen Beeintrachtigungen und 60 und zeitliche Obereinstimmung der beiden Bilder auf 

Verzogerungen bei EntscheidungsvorgSngen ffihrt der Netzhaut voraus. Diese kann erst durch eine direkte 

Diese Einschrankung konnte zum Teil mit Hilfe der Aufnahme des Netzhautbildes und durch eine anschlie- 

Technik des "Head-Up-Displays (HUD)", bei der Fuh- Bende fast verz6gerungsfreie deckungsgleiche Projek- 

rung von Kampfflugzeugen dadurch gelost werden, daB tion des neuen Bildes auf das reale Bild hergestellt wer- 

wichtige Informationen wie Instumentenanzeigen und 65 den,wasdieZielsetzungderErfindungist 

Zieldaten in die offene Brille des Pilotenhelmes und da- Es soil hier zunachst der Stand der Techniken der 

mit in das Gesichtsfeld des Piloten eingeblendet werden. Aufnahme von Netzhautreflexbildern, der Bildabta- 

Diese Technik wird auch versuchsweise in der Automo- stung aus dem Augeninneren und der Projektion von 
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Laserbildern direkt ins Auge, von der die Erf indung aus- chen Lichtsignalen bei dem stark verrauschtem Hinter- 

geht, dargestellt und diskutiert werden. grund gegeniiber der parallelen Aufnahmetechnik eine 

Die technische Realisierung einer kontinuierlichen Reihe anderer Vorteile, die den Nachteil der kurzen 

Abbildung des Netzhautreflexes der AuBenweit setzt Integrationszeitwettmachen-Diesesmd: 

eine verwertbare optische Reflexion der Netzhaut vor- 5 

aus. Ihr Reflexionsvermogen ist z. B. von F.C Delori und — serielle Signalverarbeitung, die eine direkte ana- 

K.P. Pflibsen in der Arbeit "Spectral reflectance of the loge Weiterverarbeitung des Bildes in Echtzeit er- 

human ocular fundus", Applied Optics, Vol. 28, No. 6, mogiicht 

(1989) ausfuhrlich gemessen worden. Ab dem blauen — effiziente Streulichtunterdrtickung durch das 

sichtbaren Bereich (450 nm) mit dem niedrigen Wert 10 kleine momentane Gesichtsf eld der Abtastung 

von 0,2% nimmt das Reflexionsvermbgen der Netzhaut- - rauscharme hohe Vorverstarkung der verwen- 

grube bis 10% im langwelligen roten Bereich (750 nm) deten Avalanche- Photodioden und Photomulti- 

monoton zu. Im Bereich der groBten Augenempfindlich- pliern 

keit und des scharfsten Sehens im grtin-gelben Bereich — hohe Signaldynamik, die den starken Yariatio- 

zwischen 500 nm und 600 nm liegt das Reflexionsver- 15 nen der Bildhelligkeit auf der Netzhaut entgegen- 

mogen dann zwischen 1 % und 2%. kommt 

Ein Aufnahmesystem, fur diesen Reflex, muB deshalb - effiziente analoge Rauschunterdruckung, z. B. 

fur eine um den Faktor 50- 1 00 geringere Leuchtdichte durch phase-Iock-in-Detektion bzw. Signal-Korre- 

der Netzhaut als des Gegenstandsraumes ausgeiegt lation 

sein. Eine weitere Beeintrachtigung der verfiigbaren 20 — einf ache Behebung von Abbildungsfehlern. 
Lichtmenge ist durch die GrSBe der Augenpupille von 

1— 7 mm gegeben, die im Vergleich zu den iiblichen Fur die Zielsetzung der Erfindung ist jedoch der ent- 

technischen Aufnahmesystemen wie Photo- und Video- scheidende Vorteil der seriellen Bildabtastung die wei- 

kameras, relativ klein ist Die Aufnahme des von der tere Moglichkeit sie mit einer zeitversetzten synchro- 

Netzhaut reflektierten Lichtes setzt aus diesen beiden 25 nen seriellen Laser-Biidprojektion ins Auge zu kombi- 

Griinde einen besonders empfindlichen Lichtsensor nieren erSffnet 

voraus. Wegen dieser Vorteile der seriellen Aufnahme gegen- 

Es ist bekannt, daB ein strukturiertes Reflexbild im uber Film und Videoaufnahmen werden sie seit Anfang 

Bereich der Netzhautgrube oder Fovea centralis bei der der fitafziger Jahre vor allem fur die Bildaufnahme im 

Abbildung im Auge entsteht. Dies wird z. B. von Cam- 30 Mikroskop eingesetzt Eine serielle Abtastung kann 

pell, F.W. and Green, D.G. in dem Artikel: "Optical and dreierlei realisiert werden, erstens durch eine flachen- 

Retinal Factors Affecting Visual Resolution", J. Physiol. hafte Beleuchtung des Gegenstandes und einer punkt- 

181, 576—593 (1965) beschrieben. Hier wurde eine hell formigen Abtastung mit einem Photoempfanger, zwei- 

erleuchtete ausgedehnte Gitterstruktur auf die Netz- tens der Abtastung des Gegenstandes mit einer punkt- 

haut abgebildet und das durch das Auge reflektierte Bild 35 fdrmigen Lichtquelle und flachenhafter Aufnahme mit 

mit einem Teilerspiegel aus dem Strahlengang abge- dem Photoempfanger und drittens durch die punktfor- 

lenkt und auBerhalb des Auges in einer Bildebene scharf mige Beleuchtung und die gleichzeitige punktformige 

abgebildet Die flachenhafte Abbildung des Gitters nach Abtastung mit dem Photoempfanger mit Verwendung 

der Reflexion an der Netzhaut, d. h. nach zweimaligem der gleichen Scaneinrichtung. Die zwei ersten Metho- 

Durchgang durch das Auge, diente der Bestimmung der 40 den werden als "flying spot" und die dritte als "confocal 

Modulationsubertragungsfunktion des Auges. Die pho- scanning" Aufnahmetechnik bezeichnet 

tometrische Auswertung zeigte daB die Qualitat des Re- In den beiden ersteren ist entweder die Quelle oder 

flexbildes, der von dem Auge selbst wahrgenommene der Empfanger starr und dafiir jeweils der Empfanger 

Bildqualitatsehr nahe kommt oder die Quelle auf dem Gegenstand in Bewegung, In 

Die von Campell u.al. verwendete geschlossene stati- 45 dem dritten werden Quelle und Empfanger gemeinsam 

sche Aufnahmevorrichtung mit extrem heller Bildbe- in dem scannenden Abtastpunkt (konfokal) abgebildet, 

leuchtung (Blitzlicht) am ruhig gestellten Auge ist nicht aber sind gegeneinander unbeweglich. 

geeignet um die lichtschwachen dynamischen Bilder der Eine Aufnahme des flachenhaften Netzhautreflexes 

AuBenweit auf der Netzhaut bei den raschen, natiirli- der AuBenweit mit einem scannendem Photoempfan- 

chen Eigenbewegungen des Auges aufzunehmen. Dies 50 ger.wie die Erfindung vorschlSgt, ist in diesemSinne die 

erfordertlichtempfindliche,schnelle Detektoren und ei- erste Art der "flying spot" Bildaumahmetechnik. Eine 

ne Aufnahmetechnik, die in dem offenen Strahlengang zeitversetzte synchrone Laserbildprojekton mit Hilfe 

Fremdlicht sehr effizient unterdriickt und Bilder minde- der gleichen Scaneinrichtung kann im Sinne der gemein- 

stens mit der Wiederholfrequenz der ublichen Video- samen punktfdrmigen scannenden Abbildung von Be- 

normen aufnehmen kann. 55 leuchtungsquelle und Photoempfanger auf der Netz- 

Heutekommen dafiir in Frage die CCD-Kameras, die haut als eine konfokale scannende Technik aufgefaBt 

alle Bildpunkte parallel nach einer festen Integrations- werden, aber keine konfokal scannende Aufnahmetech- 

zeit aufnehmen, und seriell scannende Bildaufnahmesy- nik, weil die Rollen des Photoempfangers und des La- 

steme mit Einzeldetektoren (Photodioden oder Photo- sers gegeniiber der konventionellen Anwendung ver- 

multipliern), in denen die Bildpunkte zeitlich hinterein- ao tauscht sind. In der Erfindung dienen die Empfangssi- 

ander abgetastet werden. Beide Techniken sind den ub- gnale zur zeitversetzten Modulation der Laserquelle, 

lichen VideonormenangepaBt. bei dem ublichen Verfahren dient die Laserquelle zur 

Ein grundsatzlicher Vorteil der Verwendung der Beleuchtung beim gleichzeitigen Empfang der Lichtsi- 

CCD-Aufnahmetechnik ist die lange Integrationszeit in gnale. 

jedem Bildpunkt von z. B. 20 ms, gegeniiber der kurzen 65 Um den Neuheitsgrad der Erfindung und ihrer techni- 
Verweildauer in jedem Bildpunkt von nur 40 ns beim schen Ausfuhrungen besser sichtbar zu machen, soli der 
Scannen. Die serielle Aufnahmetechnik hat jedoch fur Stand der Anwendungen der Bildaufnahme und Laser- 
die Aufnahme der sehr schwachen, schnell verSnderli- projektion ins Auge nachfolgend genauer dargelegt 
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werden. 

O. Pomerntzeff und R.H. Webb haben als erste die 
zweite Art der "flying spof Aufnahmetechnik mit Hilfe 
eines gescannten Laserstrahles als Beleuchtimgsquelle 
und einem starren groBflachigen Photomultiplier als 
Empfanger zur Aufnahme der Innenstruktur des Auges 
in dem US Patent 4,213,678 von Sept 1980 "Scanning 
Ophthalmoscope for Examining the Fundus of the Eye" 
beschrieben. 

Eine Erweiterung dieserTechnik zu einer konfokalen 
Anordnung mit dem gleichzeitigen scannen der Laser- 
strahl und der Empfangsachse des Photomultipliers, 
wurde von R. H. Webb, G. W. Hughes und F.C Delori in 
dem Artikel "Confocal scanning laser ophthalmoscope" 
in Applied Optics, Vol. 26, No. 8, pp 1492-1499 (1987) 
vorgestellt 

In diesem Gerat wird die Netzhaut durch einen La- 
serstrahl rasterformig abgetastet Der Laserstrahl be- 
leuchtet Punkt fur Punkt und Zeile fur Zeile die Vorlage. 
Der Photoempfanger (Photomultiplier) miBt das jeweils 
reflektierte Licht und setzt die MeBwertfolge in ein Vi- 
deosignal urn. Ein Fernsehmonitor stellt das Videosignal 
schlieBlich als Bild dar. Diese drei Vorgange erfolgen 
exakt synchron. Wahrend der Laserstrahl Zeile fur Zeile 
den Augenhintergrund abtastet, wird gleichzeitig das 
Fernsehsignal aufgebaut 

Der Laserstrahl durchlauftzunachst einen Modulator, 
uber den die Beleuchtungsintensitat gesteuert werden 
kann. Die horizontale Zeilen-Ablenkung wird meist mit 
einem schnell drehenden Polygonspiegel, die Vertikal- 
ablenkung durch einen Schwingspiegel durchgefuhrt 
Der Drehpunkt der Abtastbewegung liegt in der Puppil- 
lenebene des Auges. Das vom Augenhintergrund reflek- 
tierte bzw. zurflckgestreute Licht wird fiber die gesamte 
PupillenSffnung gesammelt und dem Photoempfanger 
iiber eine Abbildungsoptik zugeleiteL Die Strahlablen- 
kung wird dadurch riickgangig gemacht, und man erhalt 
ein stationares Lichtbiindel, das auf einer kleinen Detek- 
torflache abgebildet wird. 

Die Moglichkeit der Verwendung der konfokalen Ab- 
bildung im Ophthalmoskop zur Projektion von kfinstli- 
chen Bildern mit Hilfe einer Laserprojektion in das Au- 
ge, wurde von Webb a al. in dem obengenannten Arti- 
kel erkannt und wie folgt beschrieben: ... "The laser 
beam is deflected by a fast (15-kHz) horizontal scanner 
and a slow (60- Hz) vertical scanner to project a standard 
format TV raster on the retina. Modulation of the beam 
permits projection of graphics or even gray scale pictu- 
res in the raster. While the patient is seeing the TV 
picture projected on his/her retina, an image of the reti- 
na is displayed on a TV monitor . . .". 

Die Direktprojektion von modulierten Lichtreizen 
und Mustern wird in den modernen Laser-Scan Opht- 
hahnoskopen (wie z. B. von der Firma Rodenstock in 
Munchen) hauptsachlich fur Visusanalysen, Video-Vi- 
susbestimmungen und Kontrastempfindlichkeitsmes- 
sungen bei jeweils nur einer Laserwellenlange verwen- 
det. 

Weitere Vorschlage zur direkten Bilderubertragung 
mit Lasern ins Auge sind aus den folgenden zwei Schrif- 
tenbekannt: 

In der europaischen Patentschrift 0 473 343 Bl von Nov. 
1995 der Firma Sony Corporation mit dem Titel "Direct 
viewing picture image display apparatus" ist ein Direkt- 
sicht-Bildwiedergabegerat bekannt, das im wesentli- 
chen nur die technischen Losungswege aus den fruher 
bekannten und hier bereits zitierten VerSffentlichungen 
der konfokalen Abbildung beinhaltet, und in den auf 



dem markteingefuhrten Laser Scanning-Ophthahnosco- 
pen, wie der Firma Rodenstock Instrumente in Mun- 
chen realisiert worden sind. 
Die technische Losung zur Erweiterung der Bildiiber- 
5 tragung von nur einer auf drei Farben, die in den An- 
spriichen 10 und 11 dieses Patentes beschrieben wird, ist 
auch in anderen Laser-Display-Anlagen seit vielen Jah- 
ren realisiert und stellt deshalb ebenso keine Neuheit 
dar. Die Verschiebung der Tiefenlage der Bilder auf der 

io Netzhaut, die in den Anspruchen 12 bis 16 beschrieben 
ist, wird durch gleichartige MaBnahmen in den bereits 
existierenden Geraten durchgefiihrt 

Die Trennung von zwei Strahlen durch Polarisations- 
unterscheidung wie sie in Anspruch 16 bis 19 und in 

is Fig. 6 des Patentes beschrieben wird, um ein gleiches 
Bild in beide Augen zu projizieren, ist grundsatzlich eine 
ungeeignete Methode um "echte" dreidimensionale Bil- 
der darzustellen, da diese Bilder hier keinen perspektivi- 
stischen Unterschied aufweisen. Dariiber hinaus erlaubt 

20 diese Methode keine dynamische und individuelle An- 
passung an die Augenausrichtung und ist deshalb tech- 
nisch schwer umsetzbar. 

In einer zweiten europaischen Anmeldung der Firma 
Motorola Inc. Nr. 0 562 742 Al mit der Bezeichnung 

25 "Direct retinal scan display" von August 1993 wird ein 
Direktsicht-Bildwiedergabegerat beschrieben, das wie 
das oben beschriebene Patent von Sony auch die direkte 
Bildubertragung auf die Netzhaut betrifft, jedoch mit 
dem Unterschied, daB die Projektion iiber die Umlen- 

30 kung fiber eine dem Menschen aufgesetzte Brille durch- 
gefuhrt wird. 

Diese Patentanmeldung bringt gegeniiber der lange 
bestehenden Technik keine neue Losungsansatze. Die 
direkte Montage des gesamten Displays am Kopf des 
35 Betrachters im Anspruch 4 bzw. die Verwendung einer 
Umlenkung des Strahlenganges des Projektors fiber ei- 
ne Brille im Anspruch 5 ist bei "virtualreality" Brillen 
bzw. bei Head-Up-Display im Pilotenhelmen bereits 
eingefilhrt. 

40 Damit eine Abbildung auf der Netzhaut gelingt, mfis- 
sen verschiedene optische Anforderungen an die Laser- 
strahlumlenkung erfullt werden, die auBer der besonde- 
ren Auslegung der Strahlfilhrung nach der Strahlablen- 
kung, auch eine spezielle Brillenglaswolbung erfordert. 

45 Die Wege zur Losung dieser grundlegenden optischen 
Problematik werden in dieser letztgenannten Patentan- 
meldung jedoch nicht betrachtet oder erwahnt 

Beschreibung der Erfindung 

50 

Die Erfindung schlagt eine seriell arbeitende Aufnah- 
me- und Projektionsvorrichtung vor, die es ermSglicht, 
die auf der Netzhaut des menschlichen Auges beim na- 
tiirlichen Sehvorgang erzeugten Bilder der AuBenwelt 

55 aufzunehmen und mit elektronischer Bildverarbeitung 
zu modifizieren, bzw. zu erganzen. Dieses Bild dann 
nachfolgend mit Hilfe von Laserstrahlbildprojektion zu- 
rfick ins Auge zu projizieren und mit dem Originalbild 
synchron zu fiberlagern. Die Erfindung sieht ferner vor, 

6 o daB sowohl bei der Aufnahme, als auch bei der Projek- 
tion gleichzeitig die Strahlung aller Grundfarben Rot, 
Grttn und Blau detektiert bzw. projiziert wird. 

Diese Aufgabe ist grundsatzlich eine andere als die 
eines konfokalen Laser-Scanning-Opthahnoskops bei 

65 dem die Netzhaut im gleichen Abtastvorgang gleichzei- 
tig beleuchtet und abgebildet wird, denn in der Anord- 
nung gemaB der Erfindung wird in einem ersten Abtast- 
zyklus das flachenhafte Reflexbild der AuBenwelt nach 
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dem "flying spot" Verfahren abgetastet und erst in ei- 
nem zweiten zeitlich getrennten Abtastzyklus das nach- 
gearbeitete Laserbild auf die Netzhaut projiziert In ei- 
nem dritten Abtastvorgang wird wieder das Reflexbijd 
gewonnen, in dem vierten wieder das Laserbild proji- 
ziert usw. Da diese Vorgange zeitlich so schnell wech- 
seln, entsteht far das Auge, wie bei der Betrachtung vom 
Fernsehen oder Film, ein kontinuierlicher Ablauf in dem 
das Laserbild synchron und deckungsgleich, unabhangig 
von den Augenbewegungen, dem Originalbild folgt 

Die Erfindung unterscheidet sich auch von alien dem 
Anmelder bekannten Vorschlagen zur direkten Laser- 
projektion ins Auge, sowohl der Projektion von Fremd- 
bildera in der geschlossenen Brille (cyberspace), als auch 
der Zusatzbildern in einer offenen Brille (HUD), durch 
die hier zum ersten Male vorgeschlagene direkte Kop- 
pelung der Projektion mit dem momentanen Bildinhalt 
der AuBenwelt und die neuartigen technischen Ausfuh- 
rungen zu ihrer Realisiemng. 

Die Aufnahme und bildhafte Weiterverarbeitung des 
Netzhautreflexes ist durch den raschen Fortschritte in 
der Aufnahme- und Verarbeitungstechnik von schwa- 
chen optischen Signalen moglich geworden. Die Be- 
strahlungsstarke die die Netzhaut in der naturlichen 
Umgebung ausgesetzt ist betragt von der hellsten Au- 
Benbeleuchtung von 1CT 4 W cm" 2 bis etwa 10~ 7 W 
cm -2 . Bei schwacher Innenbeleuchtung, unter Lesebe- 
dingungen betragt sie 10 -5 W cm -2 bis 10 -6 W cm -2 
(siehe z. B. "Safety with Lasers and Other Optical Sour- 
ces", D. Sliney and M. Wolbarsht, 1980). Mit einem Pho- 
ton-Counting Photomultiplier und punktueller Abta- 
stung mit Lasern in einer TV-Norm wurde eine Emp- 
findlichkeit bis zu 2 x 10" 5 W cm -2 bei einem Signal- 
Rauschverhaltnis von 5 erreicht (s. R.H. Webb et al, 
"Flying spot TV ophthalmoscope", Applied Optics, VoL 
19, No. 17, pp.299 (1980). 

Eine ErhOhung der Empfindlichkeit bis 10 -7 W cm -2 
kann z. B. erreicht werden durch verbesserte Rauschun- 
terdruckung, eine verringerte Ortsauflosung, bzw. durch 
die Verwendung eines Spiral-Scans anstatt des_TV-Ra- 
sterscans, der eine reduzierte Scan-Geschwindigkeit in 
der Mitte des Gesichtsfeldes und damit eine verlangerte 
Integrationszeit dort bietet 

Die Aufgabe der Erfindung wird durch die in An- 
spruch 1 und 2 angegebenen Merkmale gelost In den 
Unteranspriichen sind vorteilhafte Ausgestaltungen und 
Weiterbildungen angegeben. 

In der nachfolgenden Beschreibung wird die Erfin- 
dung anhand von Ausfiihrungsbeispielen eriautert Die 
Figuren erganzen diese Erlauterungen. Es zeigt: 

Fig. 1 ein Schemabild eines Ausfuhrungsbeispieles 
der Aufnahme- und Projektionsvorrichtung ins Auge 
nach AnsprUchen 1 bis 5 in einer Ausfflhrung wo die 
Abbildung zwischen dem Scanner und Auge fiber zwei 
konkave reflektierende Flachen einen Hilfspiegels HS 
und die Innenseite der Brille BG durchgefuhrt wird. 

Fig. 2 ein Schemabild eines Ausfuhrungsbeispieles 
der Aufnahme- und Projektionsvorrichtung ins Auge 
nach Anspruchen 1 bis 4 und 6 in einer Ausfiihrung wo 
die Abbildung zwischen dem Scanner und dem Auge an 
der konkaven Hilfsspiegelfiache BG', einer konvexen 
Hilfsspiegel HS' und der konkaven Innenseite des Bril- 
lenglases BG durchgefuhrt wird. 

Fig. 3 ein Schemabild eines Ausfuhrungsbeispieles 
des starren Strahlenganges zwischen Aufnahme- und 
Projektionsvorrichtung mit Photoempfangern und La- 
sermodulatoren nach Anspruch 14. 

Fig. 4 ein Schemabild eines Ausfuhrungsbeispieles 



der flexiblen Kopplung der Aufnahme und Projektions- 
vorrichtung an den Strahlumschalter und Scaneinheit 
mit Hilf e von flexiblen Glasfasern nach Anspruch 1 5. 

Fig. 5 ein Schemabild eines Ausfuhrungsbeispieles 
5 der Anbringung der Aufnahme- und Projektionsvor- 
richtung fur beide Augen in einem Brillengestell. 

Fig. 6 ein Schemabild eines Ausfiihrungsbeispiel des 
Strahlenganges im Scanner bei Aufnahme des Netz- 
hautreflexes und anschlieBender Projektion des Bildes 
io auf die Gegenstande der AuBenwelt, durch eine Um- 
schaltung des horizontal Scanspiegels um einen Win- 
kel von 90° nach Anspruch 23. 

Fig. 7 ein Schemabild der opto-elektronischen und 
elektronischen Untereinheiten und ihren Verbindungen. 
15 Fig. 8 ein Schemabild des zeitlichen Ablaufs der Ab- 
tast- und Laserprojektionsvorgange 

Fig. 9 ein Schemabild des in Mikrobauweise im Bril- 
lengestell integrierten Scanner mit Glasfaserkopplung 
zu einer tragbaren Empfangs- und Projektionseinheit 
20 und drahtloser Obertragung zum Bildverarbeitungs- 



Die Erfindung schlagt gemaB dem Anspruch 1 eine 
scannende Aufnahmevorrichtung vor um den licht- 
schwachen Reflex von Gegenstande der AuBenwelt 
25 AW auf der Netzhaut NH des Auges AA seriell aufzu- 
nehmen wie, in den Fig. 1 bis Fig. 3 dargestellt ist 

Die gleiche Abbildungs- und. Scanvorrichtung wird 
auch verwendet um das verarbeitete Bild mit Hilfe von 
Lasern und Bildmodulatoren fiber den entgegengesetz- 
30 ten Lichtweg auf die Netzhaut zeitversetzt gemaB An- 
spruch 2 zu projizieren, wie auch in Fig. 1 bis Fig. 3 
dargestellt ist 

Der zentrale Gegenstand der Erfindung ist eine spe- 
zielle Brille, die einem Betrachter aufgesetzt wird, wie in 
35 Fig. 5, Fig. 6 und Fig. 9 gezeigt ist Die Brillenglaser BG 
dienen als Strahlteiler. In Transmission, fur das Licht aus 
der AuBenwelt und in Reflexion, als eine Abbildungsfia- 
che des von der Netzhaut durch das Auge rilckgestreu- 
ten Lichtes, das mit Hilfe weiterer Abbildungselemente 
40 und eines zweiachsigen Scanner fur die Horizontal- 
HSS und Vertikalablenkung VSS einem Photoempfan- 
ger zugef iihrt wird (Fig. 1 bis Fig. 4). 

Der Strahlengang wird gleichzeitig derart gestaltet 
daB die Verlangerung der Sichtlinie vom Detektor 
45 durch die Brille immer in der absorbierenden Schicht 
einer Strahlungssenke SS tnundet Die Verlangerung 
der Sichtlinie des Auges durch die Brille lauft dagegen 
zur AuBenwelt AW (Fig. 1 bis Fig. 6). 
Die einfachste Methode der Strahlteilung an den Bril- 
50 lenglSsern BG ist die Verwendung von 50% transmittie- 
renden und 50% reflektierenden Spiegelglasern. Es 
konnen auch aktive elektronisch steuerbare Spiegel, die 
von vollstandiger Transmission bis vollstandiger Refle- 
xion in den beiden Abtastzyklen umschalten, eingesetzt 
55 werden. 

Das Auge AA bildet von der AuBenwelt AW parallele 
Oder nahezu parallele Strahlbtindel auf der Netzhaut ab. 
Der Drehpunkt der Strahlbiindel bei unterschiedlichen 
Betrachtungswinkel zur AuBenwelt liegt in der Pupille 

60 des Auges AP. 

Die Erfindung geht von einer gleichzeitigen Aufnah- 
me und Projektion in beide Augen wie in Fig. 5 und 
Fig. 6 gezeigt wird und damit einem weitgehend identi- 
schen Strahlengang fur das linke und'rechte Auge. Bei 

55 Fehlsichtigen, auch mit unterschiedlicher Brechkraft des 
linken und rechten Auges, sieht die Erfindung vor, daB 
entweder die Brillenglaser in ihrer Brechung durch ent- 
sprechende unterschiedliche Auslegung der Wolbung 
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der Aufienseite und der Innenseite individual angepaBt Die Erfindung sieht aus diesen Grunden auBer der 

sind, bzw. daB Kontoktlinsen getragen werden. Far Nor- Verwendung eines Rasterscans in Anspruch 9 auch in 

malsichtige ist die Welbung der Innen- und AuBenseite dem Anspruch 10 auch vor, daB durch eine entsprechen- 

derBriUenglaserckeBriUenglaserBGidentisch. de Auslegung und Ansteuerung der beiden Strahlab- 

DasvonjedemeinzelnenBildpunktderNetzhautaus 5 lenkeinheiten ein Spiralscan auch verwendet werden 

dem Auge zurriickgestreute Licht ist in gleicher Weise kann. 

eine nahezu paralleles Strahlenbiindel, der den identi- Wie in einem Laser-scanning-ophthalmoskop wird 
schen Weg wie das einfallende Licht in entgegengesetz- der Strahlengang zwischen dem Projektions- und Emp- 
ter Richtung auf die Innenseite des teilweise reflektie- fangskanal mit Hilfe eines Schaltspiegels SUS getrennt. 
renden Brillenglases BG fallt. Die KrQmmung dieser 10 Da der Durchmesser des Projektionsstrahls wegen der 
Flache wird so gestaltet, daB gemeinsam mit der Augen- guten Bundelung und dem kleinen Durchmesser der La- 
linse ein zweites Bild des Bildpunktes auf der Netzhaut serstrahlen kleiner ausgelegt werden kann als der Emp- 
in der Zwischenebene ZE entsteht(Fig. 1). Ein Hilfsspie- fangsstrahl bietet sich die Mdglichkeit an einen Loch- 
gel HS, kollimiert die Strahlen erneut und bildet sie so Spiegel zur Trennung der beiden Strahlengange wie in 
ab, daB sie iiber den gemeinsamen Drehpunkt (sie auf 15 Fig. 3 und Fig. 4 dargestellt ist, zu verwenden. Eine effi- 
der anderen Seite durch die Augenpupille) auf der Ach- zientere Methode, die sich wegen der zeitlich alternie- 
se des horizontalen Scannerspiegels HSS verlaufL Eine renden Verwendung der beiden Strahlengange ergibt, 
vertikale Ablenkung wird durch einen zweiten Scanner- ist der Einsatz eines Kippspiegels der die Strahlengange 
spiegel VSS durchgefuhrt synchron mit der Abtastung umschaltet Diese Losung 
Die Abbildung aus und ins Auge mit Hilfe der beiden 20 hat die Vorteile der geringeren optischen Verluste im 
Spiegel, Hilfsspiegel und Brillenglasspiegel bei gleich- Empfangskanal und der besseren optischen Abschir- 
zeitiger freier Sicht durch das Brillenglas BG zur Au- mung des direkten Obersprechens von Projektions- in 
Benwelt AW erfordert relativ Starke Strahlablenkung. den Empfangskanal. 

Die gegenlaufige Umlenkung Ober zwei konkave Spie- Im Strahlgang der Projektionseinheit hinter dem 

gelflache hebt zum Teil die dabei auftretenden Abbil- 25 Strahlschalter SUS ist wie in Fig. 3 gezeigt sieht die 

dungsfehler auf. Der gegenlaufige sonst identische Erfindungsmeldung im Anspruch 17 eine Fokussierein- 

Strahlengang von Bildaufnahme und Bildprojektion richtung FE, die die GroBe des Laserbildflecks in An- 

vermeidet auch zum groBen Teil die Entstehung von spruch 17 und des abgetasteten Flecks beim Empfang 

Bildverzerrungen im Auge auf. GFB in Fig. 3 auf der Netzhaut einstellt Zur Einstellung 

Bei spharischen Spiegeln treten jedoch wegen ihren 30 des von den Photomultipliern gesehenen momentanen 

starken Abbildungsfehlern trotzt der relativ kleinen er- Gesichtsfeldes dient nach Anspruch 18 eine gemeinsa- 

forderlichen Ablenkwinkel von < ± 10* restliche Bild- me Gesichtsfeldblende GFB im Strahlengang zweier 

storungen auf. Fur die Abbildung und Umlenkung ins Linsen. Die Einstellung der Gesichtsfeldblenden ist zur 

Auge sind deshalb hochwertigere Spiegelsysteme, wie Anpassung an die Beleuchtungsverhaltnisse an der 

konkave Parabolspiegel und elliptische Spiegel in An- 3s Netzhaut und zur Einstellung der erwunschten Ortsauf- 

spruch 5 vorgesehen. Eine eff iziente Reduktion der Ab- losung notwendig. Es ist vorgesehen, daB beide Einstel- 

bildungsfehler ist nach Anspruch 6 auch mit Hilfe der lung ttber Aktoren automatisch nach Rechnerbefehl 

Spiegelung an zwei konkaven BG und BG' und einer durchgefuhrt werden konnen wie in Fig. 7 dargestellt 

konvexen Flache HS moglich. Hier kann als Vollspiegel- wird. 

flache BG' die zweite Halfte des Brillenglases, gleicher 40 Es ist in Anspruch 12 vorgesehen, daB der Netzhaut- 

konkaven Krflmmung wie BG verwendete werden. reflex mit der Verwendung von dichroitischen Filtern 

Die Erfindung geht davon aus daB jede Art von zwei- (DFR, DFG und DFB) und drei getrennten Detektoren 

achsigen Bildscannern verwendet kSnnen wie z.B. (PMR, PMG und PMB) in bis zu drei Farbkanalen auf- 

Drehspiegel oder Polygonspiegel fur Zeilenablenkung geteilt ist und damit ein weitgehend unverfalschtes 

und Schwingspiegel fur Vertikalablenkung bzw. akusto- 45 Farbbild aufgenommen werden kann. Auf der Lasersei- 

optischeAblenkeinheitenfiir beide Achsen. te wird ebenso mit dichroitischen Strahlteilern die 

Mit einer rasterfSrmigen Abtastspur mit getrennter Strahlen von bis zu drei Lasern im roten, griinen und 

horizontaler und vertikaler Ablenkung kann der Auf bau blauen Spektralbereich (LR, LG, LB) nach der getrenn- 

des Bildes konform mit den gebrauchlichen Video-Nor- ten Bildmodulation jeder Farbe (MR, MG, MB) auf ei- 

men wie VHS und NTSC und HDTV gestaltet werden 50 ner gemeinsamen Achsevereinigt 

(Anspruch 9). Zur farbtreuen Bildaufnahme wird das optische Si- 

Es k6nnen aber andere Abtastspuren, die dem Bild- gnal mit dichroitischen Filtern DFR DFG und DKB im 

aufbau des Auges besser angepaBt sind als der Raster- Empfangskanal in die drei Farbkomponenten vor den 

scan, verwendet werden, wie z. B. ein Spiralscan. Die drei Photoempfangern, verzugsweise Photomultipliern 

groBte Sehscharfe in der Netzhaut (Retina) ist im Be- 55 PMR, PMG und PMB in die drei Grundfarben zerlegt 

reich der sogenannten Fovea centrales, die im Gesichts- und getrennt vermessen. Wegen der schwachen Lichtsi- 

feld nur einen kleinen Winkelbereich von etwa ± 2° um gnale werden vor allem Photon-counting Verfahren 

die Sehachse aufnimmt Wenn sich die Aufmerksamkeit zum Einsatz kommen. 

auf ein Objekt richtet, werden die Augen normalerweise Die Erfindung sieht ferner vor, daB das von dem De- 

so bewegt, daB die vom fixierten Objekt ausgehcnden eo tektor aufgenommene elektronische Bild nach einer 

Strahlen auf die Fovea centralis fallen. Bildverarbeitung mit Hilfe von Laserstrahlquellen und 

Ein Spiralscan der Bildabtastung, in dem die Aufent- -modulatoren wieder in ein serielles optisches Bild um- 

haltsdauer des Abtaststrahles in Richtung zur Sehachse gewandelt wird, und in einem zweiten Bildzyklus mit der 

kontinuierlich zunimmt, ware dadurch wesentlich besser gleichen optischen Einrichtung, — j etzt in der Funktion 

dem Aufbau der Netzhaut angepaBt als ein Rasterscan. 65 als Strahlablenkeinheit (Laser-Scanner) - nach Refle- 

Durch die verlangerte Aufenthaltsdauer wird dadurch xion an der Briilenglasinnenflache in das Auge synchron, 

auch ein entsprechend hoheres Signal/Rauschen-Ver- aber zeitversetzt mit der Abtastung des Originalbildes 

haltnis in dem mittleren Bereich erreicht zuruckprojiziert wird. 



DE 196 31 414 Al 

11 12 

Die Erfindung sehlagt vor in Anspruch 20 die Peri- Computer zugefuhrt werden und bearbeitet sie nach 

oden der Bildaufnahme und Bildprojektion zeitlich zu einer vorgegebenen Software SW, bevor sie mit Hilfe 

trennen, d. h. alternierend durchzufuhren wie in Fig. 8 des Signalprozessors auf die Laserstrahlen als Bildsignal 

dargestelh ist, um eine Storung der Aufnahme des aufmoduliert werden. 

schwachen Netzhautbildes der Aufienwelt durch die 5 Die Laser-Projektion ermoglicht auBer der Verarbei- 

lichtstarkere Projektion zu vermeiden. In einem ersten tung des aktuellen vom Computer verarbeitetes Bild in 

Bildzyklus wird z. B. das Netzhautreflexbild aufgenora- das Auge zu projizieren und mit dem Originalbild zu 

men und in dem zweiten wird das verarbeitete elektro- verschmelzen, auch Fremdbilder, die dem Computer 

nische Bild in das Auge projiziert. In dem dritten Bildzy- von extern zugeleitet werden, dem AuBenbild im Auge 

klus wird eine Aufnahme des Netzhautreflexbildes 10 synchron zu uberlagern. Wenn die Zeitspanne zwischen 

durchgefiihrt, in dem vierten wird wieder die ZurQck- Bildaufnahme und -Projektion im Vergleich zu den 

projektion durchgefiihrt, usw. schnellen Augenbewegungen entsprechend kurz ist, 

Wenn dieser Bildwechsel schnell genug ist, sorgt die wird das Auge, wie bei Betrachtung eines Fernsehschir- 

Tragheit der Gesichtsinnes dafur, daB beide Bilder dem mes, keine Bildunterbrechung mehr wahrnehmen. 

Betrachter ttberlagert erscheinen, vorausgesetzt, daB 15 Die getrennte aber gleichzeitige Bildabtastung an 

die Zeitverzogerung fur das in das Auge eingeblendete beiden Augen erfaBt auch die perspektivischen Unter- 

Bild unterhalb der Bewegungsdauer und Wahrneh- schiede beider Bilder. Da diese bei der Laser-Zuriick- 

mungszeit des Auges liegt, und daB die Stabilitat und projektion in beiden Augen erhalten bleiben, ist eine 

Auflosung des eingeblendeten Bildes mit der AuflSsung Wiederherstellung des raumlichen Sehens gewahrlei- 

des Auges vergleichbar ist 20 stet 

Damit, sowohl die unbewuBten schnellen Sakkaden- AuBer der Projektion von den Netzhautbildern nach 

bewegungen des Auges mit einer mittleren Amplitude Bildverarbeitung zuruck ins Auge ermoglicht die hier 

von 5 Bogenminuten und einer Dauer zwischen 10 und vorgeschlagene Einrichtung nach Anspruch 25 auch die 

20 msec, als auch die schnellen Augenbewegungen von Projektion dieser Laserbilder direkt auf die in der Um- 

20° —30° /sec beim Verfolgen eines bewegten Objektes 25 welt befindlichen und vom Auge gesehenen Gegenstan- 

uber einen groBeren Winkel erfaBt werden k6nnen, de. Dies Ausfuhrung der Erfindung wird schematisch in 

muB die Bildwiederholfrequenz ausreichend hoch sein. Fig. 6 durch das Umklappen des Scanspiegels um einen 

Mit einer Wiederholfrequenz zwischen 50 Hz bis Winkel von 90° schematisch dargestellt 

100 Hz, sowie in der Fernsehen- und Computertechnik, Die in der Erfindung verwendeten Bauelemente sind 

ist die Aufnahme den schneilsten Bewegungsvorgangen 30 heute weitgehend miniaturisiert und kostengiinstig er- 

des Auges weitgehend angepaBt Dies gilt, sowohl fur haltlich. Die Strahlumlenkeinheit und Scanner kannen 

einen Raster- als auch einen Spiralscan. in einem einfachen Brillengestell B wie in Fig. 9 darge- 



Weitere technische Anforderungen an die Aufnahme- stellt ist untergebracht werden. Mit Hilfe von Glasfaser- 

vorrichtung betreffen die GroBe des erfaBten Gesichts- leitung GFL konnen Laserprojektionseinheit und Emp- 

feldes und die Bildaufldsung der hier vorgeschlagenen 35 fangseinheit abgesetzt in einem kleinen Gehause TOE, 

Vorrichtung. Fur die meisten Anwendungen ist der Be- z. B. der GroBe eines Taschenbuches mit Batteriever- 

reich des scharfsten Sehens mit einem Durchmesser von sorgung untergebracht werden. Der Datenaustausch. 

10 und einer Anzahl von 7 Millionen Zapfen (Bildpixel) mit einem externen fest installierten Bildverarbeitungs- 

in der Netzhautgrube (Fovea) aber auch der angrenzen- rechner kann entweder uber Radiowellen oder Infrarot- 

de Bereich mit wesentlich geringerer AuflOsung bis et- 40 strahler erfolgen. Alle Eiemente der Vorrichtung der 

wa 10° Durchmesser von Interesse. Fur diese Unter- Erfindung konnten nach dem heutigen Stand der Tech- 

schiedlichen Aufl6sungsanforderungen ist gerade der nik somit von einem Menschen muhelos getragen wer- 

Spiralscan der Abtastspur besonders geeignet den und der drahtlose Bilddatenaustausch mit dem ex- 

Als Lichtquellen zur Rfickprojektion der Bilder ins ternen Rechner wiirde seine unbeschrSnkte Bewe- 

Auge sind Halbleiterlaser bzw. miniaturisiertc Festk5r- 45 gungsfreiheit ermoglichen. 

perlaser vorgesehen mit einer rJedriger Dauerstrichlei- Die verschiedensten Einsatzbereiche der Erfindung 

stung (< 300 uW), die keine GefShrdung des Auges konnen in den nachfolgenden vier Kategorien zusam- 

verursachen konnen. Mit der Verwendung von Halblei- mengefaBt werden: 
terlasern konnte die Bildmodulation direkt fiber ihre 

Stromversorgung durchgefiihrt werden. Damit alle Far- 50 - Aufnahme von Bildern der Aufienwelt, ihre Ver- 

benerzeugt werden empfiehlt sich die Verwendung von arbeitung, Zuriickprojektion und Verschmelzung 

drei Lasern mit den Grundfarben rot, grim, blau. Wie mit dem Originalbild im Auge. 

das bekannte Farbdreieck des menschlichen Gesichtsin- — Oberlagerung von Bildern anderer Aufnahmesy- 

nes zeigt konnen alle anderen Farben sowie die Unf ar- steme, z. B. in von der gleichen Szene in anderen 

ben grau und weiB durch Farbsummation von mono- 55 Spektralbereichen auf das direkte Biid. 

chromatischen Laserlinien dieser Farben gebildet wer- - Oberlagerung von virtuellen Bildern, die alleine 

den. Die Erfindung beinhaltet auch die Moglichkeit der vom Computer hergestellt werden und 

Verwendung von einzelnen Farben als monochromati- — Aufnahme von Bildern der Aufienwelt und ihre 

scheLosungvor. Laser-Projektion nicht ins Auge, sondem auf die 

Die Erfindung sieht wie in Kg. 7 dargestellt einen so gleichen, vom Auge gesehenen Gegenstande der 

Signal-Prozessor SP vor, der das direkte Bild von der AuBenwelt 
Netzhaut elektronisch bearbeitet und alle Funktionen 

der Vorrichtung sowie die von Scannern VSS/HSS und In der ersten Kategorie sind Anwendungen mit dem 

Laserfleckeinstellung und GroBe der Gesichtsfeldblen- Ziel, das von dem Auge aufgenommene Bild durch ge- 

de LAA/GFB synchron koordiniert Der Bildverarbei- 63 zielte Bildsummation zu verbessern, z. B. ein ver- 

tungscomputer BVC ubernimmt dann die vom Auge schwommenes oder lichtschwaches Bild zu verscharfen 

wahrgenommenen Bild oder Bilder anderer technischer und verstSrken, was fur Sehbehinderte, aber auch fur 

Sensoren die uber einen externen AnschluB EA dem Normalsichtige von groBer Hilfe wSre. 
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Andere mdgliche Bildanderungen waren z. B. die An- 
derung der Farbe von Objekten durch neue Farbsum- 
mation. Diese Technik konnte zur gezielten WeiBfar- 
bung von bestimmten Bereichen des Sehfeldes, und da- 
mit zur AuslSschung Oder Verminderung der optischen 5 
Informationen verwendet werden. 

Die zweite Kategorie beinhaltet Oberlagerung von 
Bildern der gleichen Szene z. B. aus dem unsichtbaren 
intraroten Bereich oder von Radargeraten. Diese Teoh- 
nik wUrde z. B. das Fahren oder Fliegen in der Naoht 10 
und bei Nebel oder Dunst wesentlich erleichtem. 

In medizinischen Anwendungen konnten z.B. Ront- 
genbilder, akustische Bilder und Bilder vora Kernspinto- 
mographen dem direkten Bild des Korpers des Paten- 
tien oder seiner Organe zur Hilfestellung des Arztes bei 15 
der Diagnose und in der Chirurgie uberlagert werden. 

Die dritte Kategorie umfaBt Anwendungen, in denen 
das Bild durch virtuelle Zusatzeinblendungen erganzt 
werden, wie z.B. in den Anwendungen der heutigen 
HUDs bei dem Fuhren von Fahrzeugen. Die Erfindung 20 
bietet den zusatzlichen Vorteil der exakten Synchroni- 
sation der Einblendung mit dem AuBenbild. Dadurch 
kdnnten Fremdbilder auf genau definierten freien Stel- 
len innerhalb des Direktbildes, z. B. mit geringem Biidin- 
halt, oder als Stereobild in einer anderen Entfernung als 25 
die ubrigen Gegenstande, eingeblendet werden. 

Zu dieser dritten Kategorie gehdren interaktive An- 
wendungen aus der Computertechnik, d. h. die Einblen- 
dung einer virtuellen Computermaus (Zielkreuzes), die 
alleine mit den Augenbewegungen (anstatt mit der 30 
Hand) fiber reale Gegenstande der AuBenwelt (auch 
Display) gefuhrt werden. Das Anklicken, oder ein Befehl 
konnte hier durch zusatzliche Augenbewegungen z. B. 
Augenlidschlag, oder Stimme oder mit Tastendruck aus- 
gefiihrt werden. 35 

Diese dritte Kategorie beinhaltet auch cyberspace- 
Anwendungen, d.h. die Einblendung von virtuellen 
Computervollbildern in die geschlossenen Brillen. Mit 
Hilfe der Erfindung konnten Aufnahmen des Netzhaut- 
bildes der eingeblendeten virtuellen Bilder genutzt wer- 40 
den, urn diese gegenttber den Augenbewegungen zu sta- 
bilisiereru 

Die vierte Kategorie beschreibt eine Art "aktives Se- 
hen", d h. eine vom Auge gesehene und von der Abtast- 
vorrichtung aufgenommene Szene wird in dem nach- 4$ 
sten Abtastzyklus mit einera Laser-Bildscheinwerf er se- 
riell beleuchtet Diese so beleuchtete Szene wird wieder 
vom Auge wahrgenommen und fflhrt in dem darauffol- 
genden Zyklus zu einem verandertem zweiten Laser- 
Beleuchtungsvorgang, der von einem dritten Vorgang, 50 
usw.gefolgtwird. 

In dieser Weise entsteht eine optische Ruckkoppe- 
lungsschleife, die durch eine entsprechenden Auslegung 
der Beleuchtung als positive oder negative Ruckkoppe- 
lung fur die verschiedensten Anwendungen genutzt 55 
werden kann, z. B. urn schwach erkennbare Objekte zu 
erhellen, deren Kontrast zu erhohen oder ihre Farbe zu 
andern. 

Patentansprilehe so 

1. Vorrichtung zur Aufnahme des auf der menschli- 
chen Netzhaut des Auges abgebildeten Bildes der 
AuBenwelt mit Hilfe einer scannenden Aufnahme- 
vorrichtung, dadurch gekennzeichnet, daB die 65 
Strahlen der AuBenwelt durch die Glaser einer 
Brilie transmittiert werden, die auf ihren Innensei- 
ten als gewolbte abbiidende Strahlteilerspiegel ge- 
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staltet sind und daB zur Aufnahme des von jedem 
Punkt der Netzhaut zuriickgestreuten und aus dem 
Auge austretenden parallelen Strahlenbiindel und 
zu ihrer Abbildung und Umlenkung eine zweiachsi- 
ge Scanvorrichtung vorgesehen ist, die das Licht- 
bilndel zu einem opto-elektronischen Detektor zur 
seriellen Aufnahme des Netzhautreflexes weiterlei- 

2. Vorrichtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB mit Hilfe eines Strahlteilers Laser- 
strahlen flber den gleichen Lichtweg, die gleiche 
Scanvorrichtung sowie Abbildung und Umlenkung 
an der Innenseite der gewSlbten Brillenglaser in 
umgekehrter Richtung wie das Reflexbild auf die 
Netzhaut abgebildet werden. 

3. Vorrichtung nach Anspruch 1 und 2, dadurch 
gekennzeichnet, daB mit Hilfe eines Strahlumschal- 
ters Laserstrahlen uber den gleichen Lichtweg, die 
gleiche Scanvorrichtung sowie Abbildung und Um- 
lenkung an der Innenseite der gewdlbten Brillen- 
glaser in umgekehrter Richtung wie das Reflexbild 
auf die Netzhaut abgebildet werden. 

4. Vorrichtung nach Anspruch 1 bis 3, dadurch ge- 
kennzeichnet, daB die momentane optische Sca- 
nachse von Scanner aus gesehen in ihrer Verlange- 
rung durch das Brillenglas immer in eine lichtabsor- 
bierende Strahlungssenke verlauft 

5. Vorrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB die Abbildung und Umlenkung 
der von Scanner ausgehenden Strahlenbiindel vor 
der Umlenkung der Brilie ins Auge mit Hilfe eines 
konkaven Hilfsspiegels abgebildet und umgelenkt 
werden. 

6. Vorrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB die Abbildung der von Scanner 
ausgehenden Strahlbundel vor der Umlenkung der 
Brilie ins Auge sowohl mit Hilfe eines konkaven als 
auch konvexen Hilfsspiegels abgebildet und umge- 
lenkt werden. 

7. Vorrichtung nach Anspruch 1 und 2, dadurch 
gekennzeichnet, daB die Bildabtastung und Laser- 
projektion im Auge gegeneinander zeitlich ge- 
trennt und alternierend mit einer festen Bildfre- 
quenz durchgefuhrt werden. 

8. Vorrichtung nach Anspruch 1 bis 3, dadurch ge- 
kennzeichnet, daB wahrend der Periode der Bildab- 
tastung zeitweise auch eine Laserbildprojektion ins 
Auge durchgefuhrt wird. 

9. Vorrichtung nach Anspruch 1 bis 4, dadurch ge- 
kennzeichnet, daB die Abtastspur uber die Netz- 
haut entsprechend den bekannten Video-Normen 
mit der Ablenkeinheit gefuhrt wird. 

10. Eine Vorrichtung nach den Anspruchen 1 bis 9, 
dadurch gekennzeichnet, da8 die Abtastspur ra- 
sterformig fiber die Netzhaut mit einer entspre- 
chenden Auslegung und Ansteuerung der Scanvor- 
richtung durchgefuhrt wird. 

11. Vorrichtung nach Anspruch 1 bis 9, dadurch 
gekennzeichnet, daB die Abtastspur spiralf6rmig 
Uber die Netzhaut mit einer entsprechende Ausle- 
gung und Ansteuerung der Scanvorrichtung ge- 
fuhrt wird. 

12. Vorrichtung nach Anspruch 1 bis 11, dadurch 
gekennzeichnet, daB im optischen Empfangskanal 
mit Hilfe von mehreren Strahlteilern und Photode- 
tektoren mehrere spektrale Bereiche des Emp- 
fangssignals unabhSngig voneinander detektiert 
werden kSnnen. 
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13. Vorrichtung nach Anspruch 1 bis 12, dadurch 
gekennzeichnet, daB im Beleuchtungskanal mit Hil- 
fe von Strahlteilern mehrere Laserstrahlen auf die 
gleiche Strahlachse gebracht werden konnen und 
dadurch gemeinsam auf die Netzhaut abgebildet 5 
werden konnen. 

14. Vorrichtung nach Anspruch 1 bis 13, dadurch 
gekennzeichnet, daB der Strahlengang der Laser- 
projektionseinheit und Empfangseinheit mit einer 
starren Strahlfiihrung ausgelegt ist 10 

15. Vorrichtung nach Anspruch 1 bis 13, dadurch 
gekennzeichnet, daB der Strahlengang der Laser- 
projektionseinheit mit Lasern, Bildmodulatoren 
und Strahlteilern iiber eine Glasfaser an den Strahl- 
umschaltergefflhrtwird. 15 

16. Vorrichtung nach Anspruch 1 bis 14, dadurch 
gekennzeichnet, daB der Strahlengang der Emp- 
fangseinheit mit Photoempfangern und Strahltei- 
lern fiber eine Glasfaser an die Strahlumschaltein- 
heitgefuhrtwird. 20 

17. Vorrichtung nach Anspruch 1 bis 16, dadurch 
gekennzeichnet, daB im Strahlengang der Laser- 
projektionseinheit eine Strahlfokussiereinrichtung 
mtegriert ist womit die GroBe des Bildflecks der 
Laser auf der Netzhaut variiert werden kann. 25 

18. Vorrichtung nach Anspruch 1 bis 17, dadurch 
gekennzeichnet, daB im Strahlengang der Emp- 
fangseinheit eine variable Gesichtsfeldblende inte- 
griert ist womit die GroBe des Abtastflecks auf der 
Netzhaut variiert werden kann. 30 

19. Vorrichtung nach Anspruch 1 bis 18, dadurch 
gekennzeichnet, daB das von den Photoempfan- 
gern aufgenommene Bild einem Bildverarbeitungs- 
computer zugeleitet wird der synchron mit der 
Bildabtastung die aufgenommenen Bilder bearbei- 35 
tet 

20. Vorrichtung nach Anspruch 1 bis 19, dadurch 
gekennzeichnet, daB das von einem Bildverarbei- 
tungscomputer verarbeitete Bild der Netzhaut, mit 
Hilfe von elektro-optischen Modulatoren im Strah- 40 
lengang der einzelnen Laserstrahlen ein Bild syn- 
chron aber zeitversetzt mit der Abtastung auf der 
Netzhaut entstehen laBt 

21. Vorrichtung nach Anspruch 1 bis 20, dadurch 
gekennzeichnet, daB Fremdbilder von anderen 45 
Sensoren als dem Auge in dem Bildverarbeitungs- 
computer mit dem dort abgespeicherten momenta- 
nen Netzhautbild ortlich und zeitlich synchronisiert 
wird und mit den Laserstrahlen zeitversetzt ins Au- 
ge projiziert werden. 50 

22. Vorrichtung nach Anspruch 1 bis 21, dadurch 
gekennzeichnet, daB Informationen im Computer 
generiert in dem Bildverarbeitungscomputer mit 
dem dort abgespeicherten momentanen Netzhaut- 
bild ortlich und zeitlich synchronisiert wird und mit 55 
den Laserstrahlen ins Auge projiziert werden. 

23. Vorrichtung nach Anspruch 1 bis 22, dadurch 
gekennzeichnet, daB mit Hilfe eines optischen 
Schalters das AuBenlicht vor der Brille teilweise 
oder ganz zusperrt eo 

24. Vorrichtung nach Anspruch 1 bis 22, dadurch 
gekennzeichnet, daB bei verminderter oder ge- 
sperrter Sicht nach auBen und bei Projektion von 
Laserbildern von fremden Sensoren oder Compu- 
tern auf der Netzhaut auch wahrend der Laserpro- 65 
jektion diese Bilder von den Detektoren aufgenom- 
men und dem Bildverarbeitungscomputer zuge- 
fuhrt werden. 
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25. Vorrichtung nach Anspruch 1 bis 24, dadurch 
gekennzeichnet, daS die von der Netzhaut aufge- 
nommenen Bilder der AuSenwelt durch Umklap- 
pen des Strahlenganges urn 180° gegenttber dem 
Achsenverlauf ins Auge den Strahl in die Aufien- 
welt zur Beleuchtung der von dem Auge gesehenen 
Objekte mit dem vom Rechner abgeleiteten Laser- 
bildverwenden. 
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